package com.hollysys.spark

import org.apache.spark.sql.SparkSession

object GroupByExample2 {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder()
      .appName("Spark SQL basic example")
      .master("local")
      .getOrCreate()

    // 导入隐式转换，获取默认的编码器
    import spark.implicits._

    // 创建 JSON 字符串数组的 Dataset
    val jsonDataSet = spark.createDataset(Array(
      "{\"name\":\"ming\",\"age\":20,\"phone\":15552211521}",
      "{\"name\":\"hong\", \"age\":19,\"phone\":13287994007}",
      "{\"name\":\"zhi\", \"age\":21,\"phone\":15552211523}"
    ))

    // 将 JSON 数据集转换为 DataFrame
    val jsonDataSetDf = spark.read.json(jsonDataSet)

    // 显示 DataFrame 的内容
    jsonDataSetDf.drop("age").show()
    //删除age列
    spark.stop()
  }
}

